Năm 2002, Giang Trạch Dân rời khỏi Ban Thường trực Bộ chính trị Đảng Cộng sản Trung Quốc nhường đường cho một "thế hệ lãnh đạo thứ tư" đứng đầu là Hồ Cẩm Đào, đánh dấu sự khởi đầu quá trình chuyển tiếp quyền lực kéo dài trong vài năm. Hồ Cẩm Đào lên nắm chức vụ lãnh đạo Đảng, trở thành Tổng bí thư Đảng Cộng sản. Sáu trong số chín thành viên mới Ban Thường trực ở thời điểm ấy được coi là một phần trong cái gọi là "Nhóm Thượng Hải" của Giang, đáng chú ý nhất là vị Phó Chủ tịch Tăng Khánh Hồng và Phó Thủ tướng Hoàng Cúc.

Dù vậy Giang Trạch Dân vẫn giữ chức chủ tịch cơ quan đầy quyền lực là Quân uỷ Trung ương, đa số các thành viên cơ quan này là các sĩ quan quân đội chuyên nghiệp. Liberation Army Daily (Nhật Báo Quân đội Giải phóng), một tờ báo được cho là đại diện cho các quan điểm của đa số quân đội Trung Quốc, ngày 11 tháng 3 năm 2003 đã có một bài trích dẫn hai đại biểu quân đội nói, "Có một trung tâm được gọi là 'trung thành', trong khi hai trung tâm sẽ dẫn tới 'các vấn đề.'" Điều này được hiểu là một lời chỉ trích nỗ lực của Giang nhằm thực hiện quyền lãnh đạo đối với Hồ Cẩm Đào theo mô hình của Đặng Tiểu Bình.

Hồ Cẩm Đào kế tục Giang Trạch Dân làm Chủ tịch nước Cộng hoà Nhân dân Trung Hoa ngày 15 tháng 3 năm 2003. Trước sự ngạc nhiên của nhiều nhà quan sát, bằng chứng về sự ảnh hưởng kéo dài của Giang Trạch Dân trên chính sách bỗng biến mất khỏi truyền thông. Giang Trạch Dân rõ ràng đã giữ im lặng trong cuộc khủng hoảng dịch SARS, đặc biệt rõ khi so sánh với Hồ Cẩm Đào và Ôn Gia Bảo. Đã có những tranh luận cho rằng các thoả thuận về định chế được đưa ra sau Đại hội đảng lần thứ 16 khiến Giang chỉ có một vị trí không còn nhiều ảnh hưởng nữa.[14] Dù nhiều thành viên Ban Thường trực Bộ chính trị là đồng minh của ông, Ban Thường trực không có chức năng lãnh đạo với bộ máy quản lý dân sự.

Ngày 19 tháng 9 năm 2004, sau một cuộc gặp bốn ngày với 198 thành viên Ban chấp hành Trung ương, Giang Trạch Dân đã từ chức Chủ tịch Quân uỷ Trung ương, vị trí cuối cùng trong Đảng của ông. Sáu tháng sau ông từ chức vụ cuối cùng, chủ tịch Quân ủy Trung ương (CMC). Điều này đã khiến trong nhiều tuần tiếp theo đã có những lời đồn rằng những người ủng hộ Hồ Cẩm Đào trong giới lãnh đạo Đảng Cộng sản đã gây sức ép buộc Giang Trạch Dân rút lui. Theo đúng quy định, Giang Trạch Dân chỉ hết nhiệm kỳ vào năm 2007. Hồ Cẩm Đào lên nắm chức chủ tịch CMC, nhưng, trong một thất bại chính trị rõ ràng của Giang Trạch Dân, Từ Tài Hậu, chứ không phải Tăng Khánh Hồng được chỉ định làm vị phó của Hồ Cẩm Đào. Cuộc chuyển tiếp quyền lực này chính thức đánh dấu sự kết thúc kỷ nguyên của Giang tại Trung Quốc, khoảng từ năm 1993 tới năm 2004[15].

Dù Giang ít khi xuất hiện trước công chúng từ sau khi từ bỏ chức vụ chính thức cuối cùng hồi năm 2004, ông đã xuất hiện cùng Hồ Cẩm Đào trong lễ kỷ niệm lần thứ 80 ngày thành lập Quân đội Giải phóng Nhân dân [16], và đi thăm Bảo tàng Quân đội của Cách mạng Nhân dân Trung Quốc với Lý Bằng, Chu Dung Cơ, và các quan chức cao cấp khác.[17]